Плотность вероятности

Пло́тность вероя́тности — один из способов задания распределения случайной величины. Во многих практических приложениях понятия «плотность вероятности» и «плотность (распределения) случайной величины» или «функция распределения вероятностей» фактически синонимизируются^{[источник не указан 1427 дней]} и под ними подразумевается вещественная функция, характеризующая сравнительную вероятность реализации тех или иных значений случайной переменной (переменных).

Прикладное описание понятия

Плотность распределения одномерной непрерывной случайной величины [math]\displaystyle{ \xi }[/math] — это числовая функция [math]\displaystyle{ f(x) }[/math], отношение [math]\displaystyle{ f(x_1)/f(x_2) }[/math] значений которой в точках [math]\displaystyle{ x_1 }[/math] и [math]\displaystyle{ x_2 }[/math] задаёт отношение вероятностей попаданий величины [math]\displaystyle{ \xi }[/math] в узкие интервалы равной ширины [math]\displaystyle{ [x_1, x_1+\Delta x] }[/math] и [math]\displaystyle{ [x_2, x_2+\Delta x] }[/math] вблизи данных точек.

Плотность распределения неотрицательна при любом [math]\displaystyle{ x }[/math] и нормирована, то есть

[math]\displaystyle{ \int_{-\infty}^{+\infty}f(x)\,\mbox{d}x = 1 }[/math]

При стремлении [math]\displaystyle{ x }[/math] к [math]\displaystyle{ \,\pm\infty }[/math] функция [math]\displaystyle{ f(x) }[/math] стремится к нулю. Размерность плотности распределения всегда обратная к размерности случайной величины — если [math]\displaystyle{ \xi }[/math] исчисляется в метрах, то размерностью [math]\displaystyle{ f }[/math] будет м^-1.

Если в конкретной ситуации известно выражение для [math]\displaystyle{ f(x) }[/math], с его помощью можно вычислить вероятность попадания величины [math]\displaystyle{ \xi }[/math] в интервал [math]\displaystyle{ [a, b] }[/math] как

[math]\displaystyle{ P(\xi \in [a,b]) = \int_{a}^{b}f(x)\,\mbox{d}x }[/math].

Зная плотность вероятности, можно также определить наиболее вероятное значение (моду) случайной величины как максимум [math]\displaystyle{ f(x) }[/math]. Также с помощью плотности вероятности находится среднее значение случайной величины:

[math]\displaystyle{ E\xi = \int_{-\infty}^{+\infty}xf(x)\,\mbox{d}x }[/math]

и среднее значение измеримой функции [math]\displaystyle{ g(\xi) }[/math] случайной величины:

[math]\displaystyle{ \langle g(\xi)\rangle = \int_{-\infty}^{+\infty} g(x)f(x)\,\mbox{d}x }[/math].

Чтобы перейти к плотности распределения [math]\displaystyle{ {f}_\chi(y) }[/math] другой случайной величины [math]\displaystyle{ \chi=z(\xi) }[/math], нужно взять

[math]\displaystyle{ {f}_\chi(y) = f(z^{-1}(y))\cdot \left|\frac{\mbox{d}z^{-1}(y)}{\mbox{d}y}\right| }[/math],

где [math]\displaystyle{ z^{-1}(y) }[/math] — обратная функция по отношению к [math]\displaystyle{ y=z(x) }[/math] (предполагается, что z — взаимно однозначное отображение).

Значение плотности распределения [math]\displaystyle{ f(x_1) }[/math] не является вероятностью принять случайной величиной значение [math]\displaystyle{ x_1 }[/math]. Так, вероятность принятия непрерывной случайной величиной [math]\displaystyle{ \xi }[/math] значения [math]\displaystyle{ x_1 }[/math] равна нулю. При непрерывном распределении случайной величины [math]\displaystyle{ \xi }[/math] вопрос может ставиться о вероятности её попадания в некий диапазон, а не о вероятности реализации её конкретного значения.

Интеграл

[math]\displaystyle{ \int_{-\infty}^xf(t)\,\mbox{d}t = F(x) }[/math]

называют функцией распределения (соответственно, плотность распределения вероятности — это производная функции распределения). Функция [math]\displaystyle{ F }[/math] является неубывающей и изменяется от 0 при [math]\displaystyle{ x\to -\infty }[/math] до 1 при [math]\displaystyle{ x\to +\infty }[/math].

Самым простым распределением является равномерное распределение на отрезке [math]\displaystyle{ [a,b] }[/math]. Для него плотность вероятности равна:

[math]\displaystyle{ f(x) = \left\{ \begin{matrix} {1 \over b-a}, & x\in [a,b] \\ 0, & x\not\in [a,b] \end{matrix} \right.. }[/math]

Широко известным распределением является «нормальное», оно же гауссово, плотность которого записывается как

[math]\displaystyle{ f(x) = \frac{1}{\sqrt{2\pi}\sigma}\exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right] }[/math],

где [math]\displaystyle{ \mu }[/math] и [math]\displaystyle{ \sigma }[/math] — параметры: математическое ожидание и среднеквадратичное отклонение. Другие примеры плотностей распределения — одностороннее лапласовское ([math]\displaystyle{ \lambda \gt 0 }[/math]):

[math]\displaystyle{ f(x) = A\exp\left[-\lambda\,x\right]\,\, (x\ge 0) }[/math] и [math]\displaystyle{ f(x) = 0\,\, (x \lt 0) }[/math],

и максвелловское ([math]\displaystyle{ \alpha \gt 0 }[/math]):

[math]\displaystyle{ f(x) = Ax^2\exp\left[-\alpha x^2\right]\,\, (x\ge 0) }[/math] и [math]\displaystyle{ f(x) = 0\,\, (x \lt 0) }[/math].

В двух последних примерах множитель [math]\displaystyle{ A }[/math] подбирается в зависимости от параметра [math]\displaystyle{ \lambda }[/math] или [math]\displaystyle{ \alpha }[/math] так, чтобы обеспечить нормировку интеграла от плотности вероятности. В случае распределения Лапласа оказывается, что [math]\displaystyle{ A = \lambda }[/math].

Как названные, так и другие распределения широко применяются в физике. Например, в случае распределения Максвелла роль случайной величины обычно играет абсолютная величина скорости молекулы в идеальном газе. При этом для аргумента функции [math]\displaystyle{ f }[/math] нередко используют тот же символ, что и для рассматриваемой в физической задаче случайной величины (как если бы выше на месте [math]\displaystyle{ \xi }[/math] всюду стояло [math]\displaystyle{ x }[/math]). Так, в выражении максвелловской плотности распределения пишут не формальную переменную [math]\displaystyle{ x }[/math], а символ скорости [math]\displaystyle{ v }[/math]. В простейших ситуациях такая вольность с обозначениями не приводит к недоразумениям.

Спадающий при стремлении аргумента к [math]\displaystyle{ +\infty }[/math] или [math]\displaystyle{ -\infty }[/math] участок графика плотности вероятности [math]\displaystyle{ f(x) }[/math] в областях, где [math]\displaystyle{ f \ll f_{max} }[/math], называется хвостом. Из упомянутых распределений, нормальное и лапласовское имеют по два хвоста (слева и справа), а максвелловское в выписанном виде — один (справа).

Выше была изложена суть понятия «плотность вероятности». Однако, такое изложение не является строгим — плотность [math]\displaystyle{ f }[/math] нередко является функцией нескольких величин, в рассуждениях неявно предполагались не всегда гарантируемые непрерывность и дифференцируемость функций и так далее.

Определение плотности вероятности в теории меры

Плотность вероятности можно рассматривать как один из способов задания вероятностной меры на евклидовом пространстве [math]\displaystyle{ \mathbb{R}^n }[/math]. Пусть [math]\displaystyle{ \mathbb{P} }[/math] является вероятностной мерой на [math]\displaystyle{ \mathbb{R}^n }[/math], то есть определено вероятностное пространство [math]\displaystyle{ \left(\mathbb{R}^n,\mathcal{B}(\mathbb{R}^n),\mathbb{P}\right) }[/math], где [math]\displaystyle{ \mathcal{B}(\mathbb{R}^n) }[/math] обозначает борелевскую σ-алгебру на [math]\displaystyle{ \mathbb{R}^n }[/math]. Пусть [math]\displaystyle{ m }[/math] обозначает меру Лебега на [math]\displaystyle{ \mathbb{R}^n }[/math]. Вероятность [math]\displaystyle{ \mathbb{P} }[/math] называется абсолютно непрерывной (относительно меры Лебега) ([math]\displaystyle{ \mathbb{P} \ll m }[/math]), если любое борелевское множество нулевой меры Лебега также имеет вероятность ноль:

[math]\displaystyle{ \forall B \in \mathcal{B}(\mathbb{R}^n),\; ( m(B) = 0 ) \Rightarrow ( \mathbb{P}(B) = 0 ) . }[/math]

Если вероятность [math]\displaystyle{ \mathbb{P} }[/math] абсолютно непрерывна, то согласно теореме Радона-Никодима существует неотрицательная борелевская функция [math]\displaystyle{ f\colon\mathbb{R}^n \to [0,\infty) }[/math] такая, что

[math]\displaystyle{ \mathbb{P}(B) = \int\limits_{B} f(x)\, dx }[/math],

где использовано общепринятое сокращение [math]\displaystyle{ m(dx) \equiv dx }[/math], и интеграл понимается в смысле Лебега.

В более общем виде, пусть [math]\displaystyle{ (X, \mathcal F) }[/math] — произвольное измеримое пространство, а [math]\displaystyle{ \mu }[/math] и [math]\displaystyle{ \nu }[/math] — две меры на этом пространстве. Если найдется неотрицательная [math]\displaystyle{ f }[/math], позволяющая выразить меру [math]\displaystyle{ \nu }[/math] через меру [math]\displaystyle{ \mu }[/math] в виде

[math]\displaystyle{ \nu(A) = \int_A f d\mu, }[/math]

то такую функцию называют плотностью меры [math]\displaystyle{ \nu }[/math] по мере [math]\displaystyle{ \mu }[/math], или производной Радона-Никодима меры [math]\displaystyle{ \nu }[/math] относительно меры [math]\displaystyle{ \mu }[/math], и обозначают

[math]\displaystyle{ f=\frac{d\nu}{d\mu} }[/math].

Плотность случайной величины

Пусть определено произвольное вероятностное пространство [math]\displaystyle{ (\Omega,\mathcal{F},\mathbb{P}) }[/math], и [math]\displaystyle{ X\colon\Omega \to \mathbb{R}^n }[/math] случайная величина (или случайный вектор). [math]\displaystyle{ X }[/math] индуцирует вероятностную меру [math]\displaystyle{ \mathbb{P}^X }[/math] на [math]\displaystyle{ \left(\mathbb{R}^n,\mathcal{B}(\mathbb{R}^n)\right) }[/math], называемую распределением случайной величины [math]\displaystyle{ X }[/math].

Если распределение [math]\displaystyle{ \mathbb{P}^X }[/math] абсолютно непрерывно относительно меры Лебега, то его плотность [math]\displaystyle{ f_X = \frac{d\mathbb{P}^X}{dx} }[/math] называется плотностью случайной величины [math]\displaystyle{ X }[/math]. Сама случайная величина [math]\displaystyle{ X }[/math] называется абсолютно непрерывной.

Таким образом для абсолютно непрерывной случайной величины имеем:

[math]\displaystyle{ \mathbb{P}(X \in B) = \int\limits_{B} f_X(x)\, dx }[/math].

Замечания

Не всякая случайная величина абсолютно непрерывна. Любое дискретное распределение, например, не является абсолютно непрерывным относительно меры Лебега, а потому дискретные случайные величины не имеют плотности.

Функция распределения абсолютно непрерывной случайной величины [math]\displaystyle{ X }[/math] непрерывна и может быть выражена через плотность следующим образом:

[math]\displaystyle{ F_X(x_1,\ldots, x_n) = \mathbb{P}\left(X \in \prod\limits_{i=1}^n (-\infty,x_i]\right) = \int\limits_{-\infty}^{x_n} \!\! \ldots \!\! \int\limits_{-\infty}^{x_1} f_X(x'_1,\ldots, x'_n)\, dx'_1\ldots dx'_n }[/math].

В одномерном случае:

[math]\displaystyle{ F_X(x) = \int\limits_{-\infty}^x f_X(x')\, dx' }[/math].

Если [math]\displaystyle{ f_X \in C(\mathbb{R}^n) }[/math], то [math]\displaystyle{ F_X \in \mathcal{D}(\mathbb{R}^n) }[/math], и

[math]\displaystyle{ \frac{\partial^n}{\partial x_1 \ldots \partial x_n} F_X(x_1,\ldots, x_n) = f_X(x_1,\ldots, x_n) }[/math].

В одномерном случае:

[math]\displaystyle{ \frac{d}{dx} F_X(x) = f_X(x) }[/math].

Математическое ожидание функции от абсолютно непрерывной случайной величины может быть записано в виде:

[math]\displaystyle{ \mathbb{E}[g(X)] = \int\limits_{\mathbb{R}^n} g(x) \, \mathbb{P}^X(dx) = \int\limits_{\mathbb{R}^n} g(x)\, f_X(x)\, dx }[/math],

где [math]\displaystyle{ g\colon \mathbb{R}^n \to \mathbb{R} }[/math] — борелевская функция, так что [math]\displaystyle{ \mathbb{E}[g(X)] }[/math] определено и конечно.

Плотность преобразования случайной величины

Пусть [math]\displaystyle{ X\colon\Omega \to \mathbb{R}^n }[/math] — абсолютно непрерывная случайная величина, и [math]\displaystyle{ g\colon\mathbb{R}^n \to \mathbb{R}^n }[/math] — инъективная непрерывно дифференцируемая функция такая, что [math]\displaystyle{ J_g(x) \not=0,\; \forall x\in \mathbb{R}^n }[/math], где [math]\displaystyle{ J_g(x) }[/math] — якобиан функции [math]\displaystyle{ g }[/math] в точке [math]\displaystyle{ x }[/math]. Тогда случайная величина [math]\displaystyle{ Y = g(X) }[/math] также абсолютно непрерывна, и её плотность имеет вид:

[math]\displaystyle{ f_Y(y) = f_X\left(g^{-1}(y)\right) \vert J_{g^{-1}}(y) \vert }[/math].

В одномерном случае:

[math]\displaystyle{ f_Y(y) = f_X\left(g^{-1}(y)\right) \left\vert \frac{dg^{-1}}{dy}(y)\right\vert }[/math].

Свойства плотности вероятности

Плотность вероятности определена почти всюду. Если [math]\displaystyle{ f }[/math] является плотностью вероятности [math]\displaystyle{ \mathbb{P} }[/math] и [math]\displaystyle{ f(x) = g(x) }[/math] почти всюду относительно меры Лебега, то и функция [math]\displaystyle{ g }[/math] также является плотностью вероятности [math]\displaystyle{ \mathbb{P} }[/math]./

Интеграл от плотности по всему пространству равен единице:

[math]\displaystyle{ \mathbb{P}\left(\mathbb{R}^n\right) = \int\limits_{\mathbb{R}^n} f(x)\, dx = 1 }[/math].

Обратно, если [math]\displaystyle{ f(x) }[/math] — неотрицательная почти всюду функция, такая что [math]\displaystyle{ \int\limits_{\mathbb{R}^n}f(x)\, dx = 1 }[/math], то существует абсолютно непрерывная вероятностная мера [math]\displaystyle{ \mathbb{P} }[/math] на [math]\displaystyle{ \mathbb{R}^n }[/math] такая, что [math]\displaystyle{ f(x) }[/math] является её плотностью.

Замена меры в интеграле Лебега:

[math]\displaystyle{ \int\limits_{\mathbb{R}^n} \varphi(x)\, \mathbb{P}(dx) = \int\limits_{\mathbb{R}^n}\varphi(x)\, f(x)\, dx }[/math],

где [math]\displaystyle{ \varphi::\mathbb{R}^n \to \mathbb{R} }[/math] любая борелевская функция, интегрируемая относительно вероятностной меры [math]\displaystyle{ {}\mathbb{P} }[/math].

Примеры абсолютно непрерывных распределений

См. также

Литература

Плотность вероятности // Большая российская энциклопедия : [в 35 т.] / гл. ред. Ю. С. Осипов. — М. : Большая российская энциклопедия, 2004—2017.